package app.TouTiao;

/**
 * Created by Administrator on 2016/1/14.
 */
public class Config {
    public static final String BASE_URL="http://toutiao.com/articles_news_car/";  //入口地址，从这个地址开始爬取
    public static final int TYPE_QUPAURL=1;//等于1使用白名单规则，等于2时使用黑名单规则
    public static final String[] NOQUPAURL={"google","twitter"};  //满足这些正则的,不把url加入到待爬取列表中，当用黑名单时使用
    public static final String[] MUSTQUPAURL={"http://toutiao.com"};  //满足这些正则的，必须满足的情况下，把url加入到待爬取列表中，当用白名单时使用
    public static final String[] NOQUGETCONTENT={"tag[0-9]{3,}?/$","m[0-9]{3,}?/$","[a-z]+?/$","p[0-9]+?/$","com$","/user/","/api/article/recent/"}; //满足这些正则的url，不去获取页面内容的,只收集连接
    public static final int FILTER_CREATE_TIME=-4; //以当前时间为基准，往前或往后推几天，所得的时间来过滤爬取的文章的创建时间，创建时间满足大于所得的时间。
    public static final int FILTER_COMMENT_NUMS=0;//过滤评论数量是否超过该值，超过该值才会被爬取保存下来
    public static final String[] FILTER_KEYWORD={"(汽车|SUV)"};//文章内容中会出现的关键词,用来过滤文章
}
